1. โครงสร้างของการเปลี่ยนสถานะ

พิจารณาตรรกะของสภาพอากาศ หากเราสมมุติว่าฝนวันนี้เป็นปัจจัยเดียวที่ส่งผลต่อวันพรุ่งนี้ เราจะเข้าสู่โลกของกลศาสตร์มาร์คอฟ (Markovian dynamics) ซึ่งถูกอธิบายอย่างสง่างามใน ตัวอย่าง 2a:

สิ่งนี้สร้างเมทริกซ์การเปลี่ยนสถานะ $P$ ที่เราสามารถคำนวณการไหลของความน่าจะเป็นในอนาคตได้โดยใช้ เอกลักษณ์เชปแมน-โคลโมโกรอฟ (Chapman-Kolmogorov Identity):

$$P_{ij}^{(2)} = \sum_{k=0}^{M} P_{kj}P_{ik}$$

2. จังหวะการมาถึง

ความไม่แน่นอนไม่ใช่แค่เรื่องของ ที่ไหน ที่เราไป แต่ เมื่อไร เหตุการณ์เกิดขึ้น ในกระบวนการพอยซอน (Poisson process) เราติดตามการมาถึงแบบแยกเฉพาะเจาะจง เช่น เหตุแผ่นดินไหว หรือการสลายตัวของสารกัมมันตภาพรังสี ตลอดระยะเวลา

• ช่วงเวลาการมาถึงต่อเนื่อง: สำหรับกระบวนการพอยซอน ให้ $T_1$ แทนเวลาที่เหตุการณ์แรกเกิดขึ้น สำหรับ $n > 1$ ให้ $T_n$ แทนเวลาที่ผ่านไประหว่างเหตุการณ์ที่ $(n-1)$ กับเหตุการณ์ที่ $n$
• ความคงที่: ลำดับ $\{T_n, n=1, 2, \ldots\}$ ประกอบด้วยตัวแปรเอ็กซ์โพเนนเชียลที่เป็นอิสระต่อกัน ซึ่งถูกกำหนดโดยอัตรา $\lambda$

3. ข้อมูลคือการลดความประหลาดใจ

ทฤษฎีข้อมูล ซึ่งเริ่มต้นโดยคลอด ชานนอน (Claude Shannon) ช่วยวัดความไม่แน่นอน มันอาศัยพื้นฐานทางพีชคณิตที่สวยงาม โดยเฉพาะ สมบัติข้อ 4:

สมบัติข้อ 4: $S(pq) = S(p) + S(q)$ สำหรับ $0 < p \le 1, 0 < q \le 1$

สมบัตินี้บ่งชี้ว่า ความประหลาดใจจากเหตุการณ์สองเหตุการณ์ที่เป็นอิสระต่อกัน คือผลรวมของความประหลาดใจจากแต่ละเหตุการณ์ นำไปสู่การนิยามของ เอนโทรปีของชาโนน (Shannon Entropy):

$$H(X) = -\sum_{i=1}^n p_i \log_2(p_i)$$